$σ$Transfer: Uncertainty Transfer from Small to Large Networks under $μ\mathrm{P}$
σTransfer：μP参数化下从小网络到大网络迁移不确定性
🧭 μP参数化 · Laplace不确定性迁移
University of Cambridge · Spotify
利用μP推导先验协方差缩放，使Laplace近似中的精度选择可零样本从小模型迁移到大模型
📌 工作参考价值（4 点）
- 大模型不确定性评估省钱：在LLM/Transformer上做Laplace近似或贝叶斯推断时，先用μP参数化，在小模型上sweep先验精度，再零样本迁移到大模型，避免大模型上昂贵的posterior sweep。工程上可直接降低OOD检测、主动学习、拒答决策所需的计算成本。
- μP参数化是迁移的基础：若模型采用μP，先验协方差需按宽度缩放（论文中推导的重缩放），否则精度选择不随宽度稳定。迁移到业务模型时，需要同时采用μP初始化与对应缩放，不能只调精度。
- 后验决策可跨尺寸复用：论文验证了采集函数、OOD得分、拒答决策在后验稳定性下也能直接迁移，无需构造大模型后验。这对线上推荐/搜索系统里的不确定性相关模块（如置信度过滤、探索策略）有参考价值：可以只在小模型上调策略，再部署到大模型。
- 适合模型升级场景：当业务从1B模型升级到7B模型时，可复用已调好的先验精度，避免重新调参，加速约2.3～330倍（取决于任务），且NLL损失极小。